Ngô Dụng là cụ tổ đời thứ ba họ Ngô làng Vân Xuyên. Họ Ngô làng Vân Xuyên có gốc họ Bùi từ làng Ân Thi, Hưng Yên lên đã được 14-15 đời.

Truyện rằng ngày đó, có một gia đình người họ Ngô sinh sống ở chân núi IA, xã Thù Sơn, Hiệp Hòa. Cả cụ ông cụ bà đều hiền lành phúc hậu, song mãi không sinh được con. Hai cụ bàn nhau đi xin con nuôi. Thế là cụ ông đã lên đường tìm đến các gia đình gia giáo, có đông con trai để xin một người về nối dõi tông đường. Khi tới Ân Thi, Hưng Yên cụ đã vào một gia đình họ Bùi có năm con trai. Sau khi biết ý của khách quý, chủ nhà đã đồng ý cho con mình làm con nuôi họ Ngô và sẽ mang họ Ngô.

Được người họ Ngô đón về chăm nuôi và học hành chu đáo, cậu út đã nổi trội hơn người. Dân làng bao người ao ước có được người con như vậy, nhưng cũng không ít người ghen ghét đố kỵ. Đêm đêm cậu út học, giọng đọc bài đã làm ồn ào hàng xóm. Những người ghen ghét kiếm cớ gây sự, ném sỏi đá vào sân vào nhà. Cực chẳng đã, cụ họ Ngô đành chuyển chỗ ở từ chân núi IA lên làng Ân Cập, xã Hoàng Vân. Sau này các thế hệ kế tiếp của họ Ngô gốc họ Bùi sinh sôi rất đông và sống chủ yếu ở làng Vân Xuyên, xã Hoàng Vân.

Hàng năm ngày 15 tháng chạp con cháu họ Ngô gốc Bùi tụ họp về nhà thờ tổ ở Vân Xuyên để giỗ Tổ, chính là giỗ cụ dưỡng tổ họ Ngô có công nuôi dưỡng cụ tổ họ Bùi, cứ cách năm lại có đoàn đại biểu họ Bùi từ Ân Thi lên Vân Xuyên dự lễ. Năm sau đoàn đại biểu họ Ngô gốc Bùi của Vân Xuyên lại về Ân Thi để dự lễ giỗ tổ họ Bùi tại quê gốc.

Ngô Dụng là cháu nội của cụ Đặc tiến kim tử, vinh lộc đại phu, hàn lâm viện, trụ thượng quốc, thừa chi cơ trạch bá Ngô Tướng Công, tên húy là Hữu, tự là Minh Độ, hiệu là Phúc Khanh, là cụ tổ đời thứ nhất họ Ngô làng Vân Xuyên. Khi ở Hưng Yên cụ mang họ Bùi – Bùi Phúc Hữu, lên Vân Trì - Hiệp Hoà đổi sang họ Ngô – Ngô Văn Hữu.

Phụ thân của Ngô Dụng là Ngô Văn Khuyến, tự là Tuần Nho, hiệu là Tuệ Chính, là cụ tổ đời thứ hai họ Ngô, được phong Đặc tiến kim tử, vinh lộc đại phu, bộ hộ hữu thị lang diên trạch bá Ngô Tướng Công.